import pandas as pd
#東京電力のオープンデータを読み込む
elec = pd.read_csv(
"path to data",
#日付と時間を結合したセルに変更する
parse_dates={'datetime': ['DATE', 'TIME']})
#使用する文字列をアルファベットに変更する
columns={
"東京エリア需要":"tky_dmnd",
"火力":"thp",
"水力":"hyd",
"太陽光発電実績":"slr"
}
#再度読み込みを行う
elec.rename(columns=columns, inplace=True)
elec.head()
import plotly
plotly.offline.init_notebook_mode(connected=False)
#ラベルオプションの設定を行う
data = [plotly.graph_objs.Scatter(x=elec["datetime"], y=elec["tky_dmnd"], name="東京エリア需要")]
layout = plotly.graph_objs.Layout(
title="東京エリア需要(1時間毎の時系列)",
legend={"x":0.8, "y":0.1},
xaxis={"title":"datetime"},
yaxis={"title":"東京エリア需要(万kw)"}
)
fig = plotly.graph_objs.Figure(data=data, layout=layout)
plotly.offline.iplot(fig, show_link=False)
thp = plotly.graph_objs.Scatter(x=elec["datetime"], y=elec["thp"], mode = "lines", name="火力")
hyd = plotly.graph_objs.Scatter(x=elec["datetime"], y=elec["hyd"], mode = "lines", name="水力")
slr = plotly.graph_objs.Scatter(x=elec["datetime"], y=elec["slr"], mode = "lines", name="太陽光")
#火力・水力・太陽光のデータの結合を行う
el = [thp, hyd, slr]
layout = plotly.graph_objs.Layout(
title="発電量割合(1時間毎の時系列)",
legend={"x":1.0, "y":1.0},
xaxis={"title":"date_time"},
yaxis={"title":"発電量(万kw)"}
)
fig = plotly.graph_objs.Figure(data=el, layout=layout)
plotly.offline.iplot(fig, show_link=False)
#気象庁のデータの読み込みを行う
wh = pd.read_csv('path to data', encoding="sjis",parse_dates={'datetime': ['date', 'time']})
wh.head()
#気温と電力需要の相関を作成するのに必要なカラムを抽出する。結合条件は日時
dat = pd.merge(elec, wh, how="inner")
dat = dat.ix[:,["datetime","tky_dmnd","temp"]]
dat.head()
cor_dmnd = [plotly.graph_objs.Scatter(x=dat["temp"], y=dat["tky_dmnd"], mode = "markers")]
layout = plotly.graph_objs.Layout(
title="電力需要と気温の関係",
legend={"x":0.8, "y":0.1},
xaxis={"title":"気温(℃)"},
yaxis={"title":"電力需要(万kw)"}
)
fig = plotly.graph_objs.Figure(data=cor_dmnd , layout=layout)
plotly.offline.iplot(fig, show_link=False)
import plotly as py
import plotly.graph_objs as go
plotly.offline.init_notebook_mode(connected=False)
trace1 = go.Scatter3d(x=dat["datetime"],
y=dat["temp"],
z=dat["tky_dmnd"],
mode='markers',
marker=dict(
size=2,
colorscale='Viridis',
opacity=0.8
)
)
data = [trace1]
layout = plotly.graph_objs.Layout(
title="気温と電力需要の時系列3D"
)
fig = go.Figure(data=data, layout=layout)
py.offline.iplot(fig, show_link=False)
#東京電力のオープンデータを読み込む
elec = pd.read_csv(
"path to data",
#indexをdatetimeにする
index_col="datetime",
#日付と時間を結合したセルに変更する
parse_dates={'datetime': ['DATE', 'TIME']})
#使用する文字列をアルファベットに変更する
columns={
"実績(万kW)":"tky_cons"
}
#再度読み込みを行う
elec.rename(columns=columns, inplace=True)
elec_dat = elec.ix[:,["tky_cons"]]
elec_dat.head()
wh = pd.read_csv('path to data', index_col="datetime", encoding="sjis",parse_dates={'datetime': ['date', 'time']})
wh.head()
#東京の電力消費データと気温のデータの結合を行う
tokyo = elec_dat.join(wh["temp"]).dropna().as_matrix()
tokyo
tokyo_elec = tokyo[:, 0:1]
tokyo_wthr = tokyo[:, 1:]
# SVMを用いるために必要なライブラリーの呼び出し
import sklearn.cross_validation
import sklearn.svm
data_count = len(tokyo_elec)
# KFoldの呼び出しと定義
kf = sklearn.cross_validation.KFold(data_count, n_folds=5)
# 交差検定実施
for train, test in kf:
x_train = tokyo_wthr[train]
x_test = tokyo_wthr[test]
y_train = tokyo_elec[train]
y_test = tokyo_elec[test]
# -- SVR --
model = sklearn.svm.SVR()
y_train = y_train.flatten()
y_test = y_test.flatten()
model.fit(x_train, y_train)
print ("SVR: Training Score = %f, Testing(Validate) Score = %f" %
(model.score(x_train, y_train), model.score(x_test, y_test)))
#予測モデルの作成
model = sklearn.svm.SVR()
y_train = y_train.flatten()
y_test = y_test.flatten()
model.fit(x_train, y_train)
#最小値、最大値は、それぞれ気温の最高・最低を参照する。刻み込み幅は0.01
import numpy as np
px = np.arange(tokyo_wthr.min(), tokyo_wthr.max(), 0.01)[:, np.newaxis]
py = model.predict(px)
ppy = pd.DataFrame(px, py)
ppy.rename(columns = {0:'temp'}, inplace=True)
#気温と電力需要のグラフにSVMで作成された予測モデル
pred = [plotly.graph_objs.Scatter(x=ppy["temp"], y=ppy.index, mode = "lines")]
layout = plotly.graph_objs.Layout(
title="電力需要と気温の関係(SVMを用いた予測モデル)",
legend={"x":0.8, "y":0.1},
xaxis={"title":"気温(℃)"},
yaxis={"title":"電力需要(万kw)"}
)
fig = plotly.graph_objs.Figure(data=pred, layout=layout)
plotly.offline.iplot(fig, show_link=False)
#気温と電力需要のグラフにSVMで作成された予測モデルを重ね合わせる
cor_dmnd = plotly.graph_objs.Scatter(x=dat["temp"], y=dat["tky_dmnd"], mode = "markers", name="実測値散布")
pred = plotly.graph_objs.Scatter(x=ppy["temp"], y=ppy.index, mode = "lines", name="需要予測")
el = [pred, cor_dmnd]
layout = plotly.graph_objs.Layout(
title="SVMを用いた需要予測モデル",
legend={"x":1.0, "y":1.0},
xaxis={"title":"気温(℃)"},
yaxis={"title":"電力需要(万kw)"}
)
fig = plotly.graph_objs.Figure(data=el, layout=layout)
#plotly.offline.iplot(fig, show_link=False)
#当てはまりがわるいので、カーネル密度推計を行い、分布を立体的に確認する
from sklearn.neighbors.kde import KernelDensity
import numpy as np
dmnd_cor = tokyo[:, 0:]
#dmnd_cor
kde = KernelDensity(kernel='gaussian', bandwidth=0.2).fit(dmnd_cor)
kde_score = kde.score_samples(dmnd_cor)
kde_score
import plotly as py
import plotly.graph_objs as go
plotly.offline.init_notebook_mode(connected=False)
#3D用の呼び出し、x=需要、y=気温、z=密度のグラフを書く
trace1 = go.Scatter3d(x=dat["tky_dmnd"],
y=dat["temp"],
z=kde_score,
mode='markers',
marker=dict(
size=2,
colorscale='Viridis',
opacity=0.8
)
)
data = [trace1]
layout = plotly.graph_objs.Layout(
title="気温と電力需要の確率密度"
)
fig = go.Figure(data=data, layout=layout)
py.offline.iplot(fig, show_link=False)
#AERIALのデータを参照するsample code
import urllib.request
import json
with urllib.request.urlopen('http://api.hi-rezclimate.org/amsr2.py/prc?lat=35.689622&lng=139.761900&date=2016-04-01&range=0.5') as response:
prc = response.read()
prc = json.loads(prc)
prc["values"][0:10]